膝关节骨关节炎(OA)是最常见的骨关节炎和伤残原因。软骨缺陷被认为是膝关节OA的主要表现,其通过磁共振成像(MRI)可见。因此,对膝关节软骨缺陷的早期检测和评估对于保护膝关节OA患者来说是重要的。通过这种方式,通过将卷积神经网络(CNNS)应用于膝关节MRI,已经在膝关节软骨缺陷评估中进行了许多尝试。然而,软骨的生理特性可能阻碍这种努力:软骨是薄的弯曲层,这意味着只有膝关节MRI中的一小部分体素可以有助于软骨缺陷评估;异构扫描方案进一步挑战CNN在临床实践中的可行性;基于CNN的膝关节软骨评估结果缺乏解释性。为了解决这些挑战,我们将软骨结构和外观模拟到膝关节MRI进入图表表示,该图表能够处理高度多样化的临床数据。然后,由软骨图表示指导,我们设计了一种具有自我关注机制的非欧几里德深度学习网络,提取本地和全局中的软骨功能,并通过可视化结果导出最终评估。我们的综合实验表明,该方法在膝关节软骨缺陷评估中产生了卓越的性能,以及其方便的可解释性3D可视化。
translated by 谷歌翻译
The state-of-the-art language model-based automatic metrics, e.g. BARTScore, benefiting from large-scale contextualized pre-training, have been successfully used in a wide range of natural language generation (NLG) tasks, including machine translation, text summarization, and data-to-text. Recent studies show that considering both major errors (e.g. mistranslated tokens) and minor errors (e.g. imperfections in fluency) can produce high-quality human judgments. This inspires us to approach the final goal of the evaluation metrics (human-like evaluations) by automatic error analysis. To this end, we augment BARTScore by incorporating the human-like error analysis strategies, namely BARTScore++, where the final score consists of both the evaluations of major errors and minor errors. Experimental results show that BARTScore++ can consistently improve the performance of vanilla BARTScore and outperform existing top-scoring metrics in 20 out of 25 test settings. We hope our technique can also be extended to other pre-trained model-based metrics. We will release our code and scripts to facilitate the community.
translated by 谷歌翻译
Variational Graph Autoencoders (VGAEs) are powerful models for unsupervised learning of node representations from graph data. In this work, we systematically analyze modeling node attributes in VGAEs and show that attribute decoding is important for node representation learning. We further propose a new learning model, interpretable NOde Representation with Attribute Decoding (NORAD). The model encodes node representations in an interpretable approach: node representations capture community structures in the graph and the relationship between communities and node attributes. We further propose a rectifying procedure to refine node representations of isolated notes, improving the quality of these nodes' representations. Our empirical results demonstrate the advantage of the proposed model when learning graph data in an interpretable approach.
translated by 谷歌翻译
A large number of studies on Graph Outlier Detection (GOD) have emerged in recent years due to its wide applications, in which Unsupervised Node Outlier Detection (UNOD) on attributed networks is an important area. UNOD focuses on detecting two kinds of typical outliers in graphs: the structural outlier and the contextual outlier. Most existing works conduct experiments based on datasets with injected outliers. However, we find that the most widely-used outlier injection approach has a serious data leakage issue. By only utilizing such data leakage, a simple approach can achieve state-of-the-art performance in detecting outliers. In addition, we observe that most existing algorithms have a performance drop with varied injection settings. The other major issue is on balanced detection performance between the two types of outliers, which has not been considered by existing studies. In this paper, we analyze the cause of the data leakage issue in depth since the injection approach is a building block to advance UNOD. Moreover, we devise a novel variance-based model to detect structural outliers, which outperforms existing algorithms significantly at different injection settings. On top of this, we propose a new framework, Variance-based Graph Outlier Detection (VGOD), which combines our variance-based model and attribute reconstruction model to detect outliers in a balanced way. Finally, we conduct extensive experiments to demonstrate the effectiveness and efficiency of VGOD. The results on 5 real-world datasets validate that VGOD achieves not only the best performance in detecting outliers but also a balanced detection performance between structural and contextual outliers. Our code is available at https://github.com/goldenNormal/vgod-github.
translated by 谷歌翻译
准确的车辆类型分类在智能运输系统中起重要作用。对于统治者而言,重要的是要了解道路状况,通常为交通灯控制系统的贡献,以相应地响应以减轻交通拥堵。新技术和全面数据源,例如航空照片和遥感数据,提供了更丰富,高维的信息。同样,由于深度神经网络技术的快速发展,基于图像的车辆分类方法可以在处理数据时更好地提取基本的客观特征。最近,已经提出了几种深度学习模型来解决该问题。但是,基于纯卷积的传统方法对全球信息提取有限制,而复杂的环境(例如恶劣的天气)严重限制了识别能力。为了在复杂环境下提高车辆类型的分类能力,本研究提出了一种新型连接的卷积变压器在变压器神经网络(密度TNT)框架中,通过堆叠密集连接的卷积网络(Densenet)和变压器(TNT)(TNT)(TNT)(TNT )层。部署了三个区域的数据和四个不同的天气条件以评估识别能力。实验发现,即使在严重的雾气天气条件下,我们提出的车辆分类模型的识别能力也很少。
translated by 谷歌翻译
强有力的对手例子是评估和增强深神经网络鲁棒性的关键。流行的对抗性攻击算法使用梯度上升最大化非cave损失函数。但是,每种攻击的性能通常对由于信息不足(仅一个输入示例,几乎没有白色盒子源模型和未知的防御策略)而敏感。因此,精心设计的对抗性示例容易过度拟合源模型,从而将其转移性限制在身份不明的架构上。在本文中,我们提出了多种渐近正态分布攻击(Multianda),这是一种新颖的方法,可以明确表征来自学习分布的对抗性扰动。具体而言,我们通过利用随机梯度上升(SGA)的渐近正态性能(SGA)的优势来近似于扰动,然后将整体策略应用于此过程,以估算高斯混合模型,以更好地探索潜在的优化空间。从学习分布中绘制扰动使我们能够为每个输入生成任何数量的对抗示例。近似后验实质上描述了SGA迭代的固定分布,该分布捕获了局部最佳距离周围的几何信息。因此,从分布中得出的样品可靠地保持转移性。我们提出的方法通过对七个正常训练和七个防御模型进行广泛的实验,超过了对具有或没有防御的深度学习模型的九个最先进的黑盒攻击。
translated by 谷歌翻译
电动汽车(EV)充电需求和充电站的可用性预测是智能运输系统中的挑战之一。通过准确的EV站情况预测,可以提前安排合适的充电行为以缓解范围焦虑。但是,由于复杂的道路网络结构和全面的外部因素,例如兴趣点(POI)和天气效应,许多现有的深度学习方法用于解决此问题,因此,许多常用算法只能在没有历史用法的情况下提取历史用法考虑外部因素的全面影响。为了提高预测准确性和可解释性,在本研究中提出了属性增强的时空图信息器(AST-GIN)结构,通过将图形卷积网络(GCN)层和告密者层组合来提取外部和内部空间 - 相关运输数据的时间依赖性。并且外部因素被模拟为动态属性,由属性调制的编码器进行训练。测试了邓迪市收集的数据的AST-gin模型,实验结果表明,与其他基线相比,考虑到外部因素对各种地平线环境的影响,我们的模型的有效性。
translated by 谷歌翻译
图像群集是计算机视觉中的重要且开放的挑战任务。尽管已经提出了许多方法来求解图像群集任务,但它们仅根据图像特征探索图像和揭示簇,因此无法区分视觉上相似但在语义上不同的图像。在本文中,我们建议借助视觉语言预训练模型研究图像聚类的任务。与已知类名称的零拍设置不同,我们只知道此设置中的簇数。因此,如何将图像映射到适当的语义空间以及如何从图像和语义空间聚集图像是两个关键问题。为了解决上述问题,我们提出了一种由视觉语言预训练模型剪辑引导的新型图像群集方法,称为\ textbf {sentical-exentic-eenhanced Image clustering(sic)}。在这种新方法中,我们提出了一种将给定图像映射到适当的语义空间的方法,首先是根据图像和语义之间的关系生成伪标记的方法。最后,我们建议以自我监督的学习方式在图像空间和语义空间中的一致性学习进行聚类。收敛分析的理论结果表明,我们所提出的方法可以以均方根速度收敛。对期望风险的理论分析还表明,我们可以通过提高邻居一致性或预测信心或降低邻里失衡来降低期望风险。五个基准数据集的实验结果清楚地显示了我们新方法的优势。
translated by 谷歌翻译
依靠深度​​监督或自我监督的学习,近年来,成对的单图像和稀疏深度数据的深度完成方法的先前方法令人印象深刻。但是,面对一个新的环境,该环境在网上发生测试数据,并且与RGB图像内容和深度稀疏性中的训练数据不同,受过训练的模型可能会遭受严重的性能下降。为了鼓励训练有素的模型在这种情况下运行良好,我们希望它能够连续有效地适应新的环境。为了实现这一目标,我们提出了Metacomp。它利用元学习技术在训练阶段模拟适应策略,然后以自我监督的方式将模型适应新环境。考虑到输入是多模式数据,由于两个模态数据的结构和形式存在显着差异,因此将模型同时改编到两个模态的变化将是一项挑战。因此,我们进一步建议将基本元学习训练中的适应程序分为两个步骤,第一个小时重点放在深度稀疏性上,而第二次参与图像含量。在测试过程中,我们采取相同的策略将模型在线调整为新的多模式数据。实验结果和全面的消融表明,我们的元素能够有效地适应新环境中的深度完成,并适应不同方式的变化。
translated by 谷歌翻译
依靠变压器进行复杂的视觉功能学习,对象跟踪目睹了最先进的新标准(SOTA)。但是,这种进步伴随着更大的培训数据和更长的培训期,使跟踪越来越昂贵。在本文中,我们证明了变压器的依赖性不是必需的,并且在实现SOTA跟踪方面,纯粹的convnets仍然具有竞争力,甚至更经济和友好。我们的解决方案是释放多模式视觉语言(VL)跟踪的功能,只需使用Convnet。本质在于通过我们的模态混音器(Modamixer)和不对称Convnet搜索学习新颖的统一自适应VL表示。我们表明,我们的统一自适应VL表示形式纯粹是用Convnet学习的,是变压器视觉特征的简单而强大的替代方案,它令人难以置信地将基于CNN的基于CNN的Siamese Tracker提高了14.5%的SUC,在挑战性的Lasot方面(50.7%> 65.2%> 65.2%> 65.2% ),即使表现优于几个基于变压器的SOTA跟踪器。除经验结果外,我们理论上分析了我们的方法以证明其有效性。通过揭示VL代表的潜力,我们希望社区将更多的关注转移到VL跟踪上,并希望为超越变形金刚的未来跟踪开放更多的可能性。代码和模型将在https://github.com/judasdie/sots上发布。
translated by 谷歌翻译